观察到对于某些NLP任务，例如语义角色预测或主题拟合估计，随机嵌入性能以及预处理的嵌入方式，我们探索了哪些设置允许并检查大多数学习的编码：语义角色，语义角色，语义角色嵌入或``网络''。我们发现细微的答案，具体取决于任务及其与培训目标的关系。我们研究了多任务学习中的这些表示学习方面，在这些方面，角色预测和角色填充是受监督的任务，而几个主题拟合任务不在模型的直接监督之外。我们观察到某些任务的质量得分与培训数据规模之间的非单调关系。为了更好地理解此观察结果，我们使用这些任务的每个动力版本来分析这些结果。
translated by 谷歌翻译